Goldstein sinh năm 1850 tại Gleiwitz Thượng Silesia, nay được gọi là Gliwice, Ba Lan. Ông học tại Breslau và sau đó, dưới thời Helmholtz, ở Berlin. Goldstein làm việc tại Đài quan sát Berlin từ 1878 đến 1890, nhưng đã dành phần lớn sự nghiệp của mình tại Đài quan sát Potsdam, nơi ông trở thành người đứng đầu bộ phận thiên văn học vào năm 1927. Ông mất năm 1930 và được chôn tại nghĩa trang Weißensee ở Berlin.